微软 HoloLens 2 幕后故事

丹棱君有话说：HoloLens 是微软研发的混合现实计算机设备。人们戴上 HoloLens，通过混合现实技术，可以看到虚拟影像与真实世界的融合，这突破了人们观察世界的方式。HoloLens 目前主要应用于商用市场，包括制造业、汽车、医疗、建筑、教育等诸多行业，为企业提升了工作效率，降低了成本。

今年年初，微软在 2019 世界移动通信大会上发布了 HoloLens 2。近日，微软宣布 HoloLens 2 正式发售，新版本在自然交互、感知人工智能、云端协作等方面取得新进展。

HoloLens 2 内置传感器，利用人工智能技术，节省了时间和空间，为人们的沟通交流创造更多可能。

用户首次戴上 HoloLens 2 ，设备就会自动识别用户信息，精准测量包括用户手的准确形状、瞳距等数据。实现这些功能的人工智能研发虽然极其复杂，但至关重要，能够带来更好的体验，用户无需繁琐的学习过程即可快速上手。

微软技术院士 Alex Kipman

微软技术院士 Alex Kipman 认为，HoloLens 2 充分展示了微软智能边缘设备支持人工智能技术的优秀能力，即使没有稳定的互联网连接，也能收集和处理数据，并在联网时与智能云共享部分或全部数据。

Kipman 曾在办公室的数字白板上勾勒出普适计算的愿景。普适计算的目标，是通过技术帮助人们从本能出发，自然地与他人交互。例如，相比通话或收听录音，人们更喜欢面对面交流，因为这是人们更加习惯的做事方式。通过将 HoloLens 2 与微软云计算平台 Azure 的相结合，一线工作人员不需要来回切换设备，即可在统一设备上进行虚实结合的仿真实训，将数字信息叠加在真实物体上，更加快速直观地学习。

HoloLens 与云的结合，改变了人们做事的方法，让更多人可以做到更多有趣的事情。

自然交互

为了实现 HoloLens 2 的自然交互，微软 HoloLens 团队共同开发、训练人工智能模型并部署，以跟踪人们的手部动作和视线。人们可以感知漂浮在自己眼前的全息影像，并伸手调整大小或重新定位。

为了构建手部跟踪系统，团队设计了向内指向的圆顶摄像头设备，用来记录各种各样的手形，并使用离线的云处理技术构建能够代表所有人手形和动作的 3D 模型。通过这个 3D 模型，团队能够使用计算机图形来渲染逼真的合成人手图像和合成标签，从而使该模型能够适用于各种手形、姿势和运动。

团队可以有效训练大量数据，并通过这些数据训练紧凑型的深度神经网络，这是一种适用于 HoloLens 机载处理器的人工智能算法，能够对来自设备的深度传感器的每一帧画面进行高效处理。当用户戴上 HoloLens 2 时，系统会利用这个神经网络构建一个适合用户手掌大小的个性化 3D 模型，从而实现与全息影像自然交互所需的精确跟踪。

团队还使用类似的方法来构建和训练眼球跟踪模型，密切关注瞳孔间距，即双眼瞳孔中心之间的距离。瞳距因人而异，它影响一个人看近处或远处物体的方式。眼球跟踪模型使得 HoloLens 2 能够在用户面前精确显示全息影像，让用户能够在 HoloLens 上同时通过手和眼睛进行交互操作。

贯穿云和端

除手部和眼球跟踪功能外，其它的智能功能，比如 SLAM（同步定位与地图构建），也已经被嵌入到 HoloLens 2 的第二代全息处理单元中。

Kipman 把 HoloLens 的人工智能功能称作感知人工智能，动物大脑的感知功能，正是用于执行一些出于本能、无需深思熟虑的操作。比如人们口渴时，便会不自觉地估测举起水杯，拿到唇边的距离。通常情况下，人们将数据传输到云端、处理并返回需要花费数百毫秒，而用户在全息影像上按动一个按钮、或者转动眼球在全息影像上浏览文本时，即便几十毫秒的延迟都会带来明显的感知差异。通过 HoloLens 2 上的感知人工智能，用户无需担心与全息影像交互时的明显延迟。

此外，人们在本地设备上进行人工智能计算，能够很好地保护隐私，HoloLens 2 通过用户的虹膜扫描信息来验证身份，不会将这类私人数据发送到云端。另一些运算数据则适合上传至云端，通过 Azure 上的 AI 服务与混合现实服务，与云端的“普适计算”相结合，可以运行更多运算及认知等功能。

HoloLens 2 零部件展示图

云端协作

微软混合现实与人工智能苏黎世实验室主任 Marc Pollefeys 认为，智能云赋能的全息计算的关键优势在于，用户可以与其他拥有HoloLens 或类似设备的人共享信息。Pollefeys 正带领团队研发用于混合现实云服务的核心计算机视觉算法——AzureSpatial Anchors，该服务能够让全息影像保留并锁定在现实世界中，供有访问权限的人查看。

通过 Spatial Anchors 技术，工厂管理人员能够把全息影像锁定在装配线的设备旁边，这些影像可包含重要的实时操作和维护信息，任何有权限的人员都可以佩戴混合现实设备访问这些信息。

Pollefeys 说：“在全息影像中对现实世界进行批注和标记，如果只在自己的设备上回看作用就太小了，如果能够让同事也能看到并利用，价值就大大提升了。”

为了实现这一功能，Pollefeys 和团队开发了人工智能计算机视觉算法。该算法可处理来自传感器的数据，提取周围环境的 3D 几何信息，并将其整合、上传到云平台，创建出相关区域数字孪生系统或视图。

Pollefeys 指出，HoloLens 通过解读 3D 空间信息的方式，了解其所在的运行环境。Azure Spatial Anchors 创建、优化这些视图，可以在各种设备上进行共享，这就是为什么要把来自各个设备的视图拼凑在一起并存储在云中。

“只在一台设备上存储这些数据是没有意义的。就好比我有一小块拼图、其他人也有一小块拼图，只有当我们把各自设备中生成的拼图整合到一起，才可以覆盖整个空间。”

随着各种支持混合现实功能的设备（包括 HoloLens 以及适当配置的手机、平板电脑和笔记本电脑）与环境信息不断整合，并将信息共享在云端，人们获得的视图将越来越详实、精确、强大。

比如，随着越来越多有访问权限的工人用自己的设备查看全息影像，工厂车间的整体视图将会越来越完整；建筑师和客户开会时，每个佩戴混合现实设备的参会人员，均可从自己的视角查看该建筑的全息 3D 设计图，并进行交互。

微软公司 Azure 部门副总裁 Julia White 指出，Azure 包含预构建服务，可用于 HoloLens 和其它混合现实设备（包括运行 iOS 和安卓操作系统的智能手机和平板电脑），这种协作体验不仅限于 HoloLens，还可用于优化《我的世界：地球》的游戏体验等，将流行的视频游戏与混合现实融合，玩家可以在现实世界中搭建并放置可持久存在的虚拟结构，其他玩家就可以在自己的设备上进行交互。

了解更多：

---

后台入驻微软小冰

如果你很萌，请跟她一决高下！